package core.rdd.instance;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.List;

public class Spark01_TEXT_READ {
    public static void main(String[] args) {
        // 配置SparkConf指向你的Spark master URL
        SparkConf conf = new SparkConf()
                .setAppName("Spark01_TEXT") // 应用名称
                .setMaster("local[10]"); // 替换成你的master地址

        // 创建JavaSparkContext，它是与集群交互的主要入口点
        try (JavaSparkContext sc = new JavaSparkContext(conf)) {
            // 创建一个简单的本地集合，并将其并行化为RDD
            JavaRDD<String> rdd = sc.textFile("D:\\Study\\personal-learning\\data\\spark1.txt");

            List<String> collect = rdd.collect();

            collect.forEach(System.out::println);
        }
    }
}
